GPUが搭載されたEC2インスタンスのスペックと利用可能なAZを整理してみた

こんちには。

データ事業本部 インテグレーション部 機械学習チームの中村( @nokomoro3 )です。

今回はAWSで使用可能なGPUインスタンス（g系とp系）についての情報を整理してみました。
インスタンスのスペック、価格（オンデマンド）、利用可能なAZなどを分かるようにしています。

インスタンスのスペック

GPUインスタンスとスペック表になります。
GPUを使う上では通常のvCPU数やメモリ意外に、GPU数、GPUメモリ合計、1GPUあたりのGPUメモリなども重要となります。
実際、分散トレーニングをする上では、並列数を決めたり、分散方式を決めるうえでGPU数や1GPUあたりのGPUメモリを確認する必要があります。

g4dn / g4ad

g4dnはNVIDIA T4 GPUを搭載、g4adはAMD Radeon Pro V520 GPUを搭載しています。

g4dnはカスタムIntel Cascade Lake CPUを搭載し、g4adは第2世代AMD EPYCプロセッサを搭載しています。

• 参考リンク
  • https://aws.amazon.com/jp/ec2/instance-types/g4/

g5 / g5g

g5はNVIDIA A10G Tensor Core GPUを搭載、g5gはNVIDIA T4G Tensor Core GPUを搭載しています。

g5は第2世代AMD EPYCプロセッサ、g5gはAWS Gravition2プロセッサが搭載されています。

• 参考リンク
  • https://aws.amazon.com/jp/ec2/instance-types/g5/
  • https://aws.amazon.com/jp/ec2/instance-types/g5g/

g6 / gr6 / g6e

g6とgr6はNVIDIA L4 Tensor Core GPUを搭載、g6eはNVIDIA L40S Tensor Core GPUを搭載しています。
g6eは1GPUあたりのGPUメモリがg系のインスタンスの中で最も大きい48GBとなっています。
gr6はg6に対して、CPUに対するメモリが多く搭載されたインスタンスです。

CPUは第3世代のAMD EPYCプロセッサを備えています。

• 参考リンク
  • https://aws.amazon.com/jp/ec2/instance-types/g6/
  • https://aws.amazon.com/jp/ec2/instance-types/g6e/

p2 / p3 / p3dn / p4d / p4de / p5 / p5e / p5en

p系のインスタンスは、ハイエンド向けのGPUが搭載されています。

• 参考リンク
  • https://aws.amazon.com/jp/ec2/instance-types/p2/
  • https://aws.amazon.com/jp/blogs/news/new-p2-instance-type-for-amazon-ec2-up-to-16-gpus/
  • https://aws.amazon.com/jp/blogs/news/new_amazon_ec2_instances_with_up_to_8_nvidia_tesla_v100_gpu_p3/
  • https://aws.amazon.com/jp/about-aws/whats-new/2018/12/introducing-amazon-ec2-p3dn-instances-our-most-powerful-gpu-instance-yet/
  • https://aws.amazon.com/jp/ec2/instance-types/p4/
  • https://aws.amazon.com/jp/ec2/instance-types/p5/

インスタンスの価格

次に、各GPUインスタンスの価格になります。
オンデマンドで1時間あたりと1ヵ月あたりの価格を示しています。

なお基本的にはus-east-1の値を記載しています。
us-east1で使えない p5en.48xlarge は、us-west-2の値を記載しています。

また p5e.48xlarge はEC2 Capacity Blocks for ML pricingを使う必要があるため、今回記載していません。
詳細はEC2 Capacity Blocks for ML pricingのページをご覧ください。

• 参考リンク
  • https://aws.amazon.com/jp/ec2/pricing/on-demand/
  • https://aws.amazon.com/ec2/capacityblocks/pricing/

利用可能なAZ

以下の5つのリージョンでこちらは確認いたしました。またInstanceFamily内では異ならないため、InstanceFamilyごとに記載しています。

• us-east-1（バージニア）
• us-west-2（オレゴン）
• us-east-2（オハイオ）
• ap-northeast-1（東京）
• ap-northeast-3（大阪）

us-east-1（バージニア）

us-east-1eとus-east-1fは使用できるインスタンスが限られているので注意が必要です。
p5はus-east-1fでのみ利用可能となっていますが、p5eとp5enはこのリージョンはまだ利用できないようです。

us-west-2（オレゴン）

us-west-2dは使用できるインスタンスが限られているので注意が必要です。
p5enはus-west-2bとus-west-2dでのみ利用可能となっていますが、p5eはまだ利用できないようです。

us-east-2（オハイオ）

p5、p5e、p5enともに利用できるAZがありますが、g5gとp3はこのリージョンでは利用できないようです。

ap-northeast-1（東京）

ap-northeast-1dは使用できるインスタンスが限られているので注意が必要です。
p5enはap-northeast-1aでのみ利用可能となっていますが、p5eはまだ利用できないようです。

ap-northeast-3（大阪）

g4dnのみが利用可能となっており、対応AZもap-northeast-3bとap-northeast-3cのみとなっています。

ご参考：使用したコード

import boto3
import polars as pl

# 使用するAWSプロファイル名
profile_name = "your_profile_name"

# 対象リージョンをリストで指定
regions = [
    "ap-northeast-1",
    "ap-northeast-3",
    "us-east-1",
    "us-east-2",
    "us-west-1",
    "us-west-2",
]

# プロファイルを指定してセッションを作成
session = boto3.Session(profile_name=profile_name)

data = []

# EC2クライアントを作成してデータを収集
for region in regions:
    ec2 = session.client("ec2", region_name=region)
    paginator = ec2.get_paginator("describe_instance_type_offerings")
    for page in paginator.paginate(LocationType="availability-zone"):
        for offering in page["InstanceTypeOfferings"]:
            offering["Region"] = region  # リージョン情報を追加
            data.append(offering)

# Polarsのデータフレームに変換
df = pl.DataFrame(data)

df\
    .sort(by="Location")\
    .with_columns(
        pl.col("InstanceType").str.split(".").list.first().alias("InstanceFamily")
        , pl.lit(1).alias("IsAvailable")
    ).select([
        pl.exclude(["LocationType", "Region", "InstanceType"])
    ])\
    .unique()\
    .sort(by=["Location"])\
    .pivot(on="Location", index="InstanceFamily")\
    .sort(by=["InstanceFamily"])\
    .filter(
            (pl.col("InstanceFamily").str.starts_with("g"))
            | (pl.col("InstanceFamily").str.starts_with("p"))
            | (pl.col("InstanceFamily").str.starts_with("inf"))
            | (pl.col("InstanceFamily").str.starts_with("trn"))
    )\
    .write_csv("available-instance-per-region.csv")

まとめ

いかがでしたでしょうか。

本記事がAWSでGPUインスタンスを使用される方のご参考になれば幸いです。